附源码|paddlepaddle实现猫狗识别

本文是基于paddle paddle采用CNN实现猫狗识别案例。

author&＃xff1a;小黄
缓慢而坚定的生长

图像分类是根据图像的语义信息将不同类别图像区分开来&＃xff0c;是计算机视觉中重要的基本问题

猫狗分类属于图像分类中的粗粒度分类问题

step1.数据准备

#导入需要的包
import paddle as paddle
import paddle.fluid as fluid
import numpy as np
from PIL import Image
import matplotlib.pyplot as plt
import os


&＃xff08;1&＃xff09;数据集介绍

我们使用CIFAR10数据集。CIFAR10数据集包含60,000张32x32的彩色图片&＃xff0c;10个类别&＃xff0c;每个类包含6,000张。其中50,000张图片作为训练集&＃xff0c;10000张作为验证集。这次我们只对其中的猫和狗两类进行预测。

(2)train_reader和test_reader

paddle.dataset.cifar.train10()和test10()分别获取cifar训练集和测试集

paddle.reader.shuffle()表示每次缓存BUF_SIZE个数据项&＃xff0c;并进行打乱

paddle.batch()表示每BATCH_SIZE组成一个batch

&＃xff08;3&＃xff09;数据集下载

由于本次实践的数据集稍微比较大&＃xff0c;以防出现不好下载的问题&＃xff0c;为了提高效率&＃xff0c;可以用下面的代码进行数据集的下载。

#!mkdir -p /home/aistudio/.cache/paddle/dataset/cifar/

#!wget “http://ai-atest.bj.bcebos.com/cifar-10-python.tar.gz” -O cifar-10-python.tar.gz

#!mv cifar-10-python.tar.gz /home/aistudio/.cache/paddle/dataset/cifar/

BATCH_SIZE &＃61; 128
#用于训练的数据提供器
train_reader &＃61; paddle.batch(paddle.reader.shuffle(paddle.dataset.cifar.train10(), buf_size&＃61;BATCH_SIZE * 100), batch_size&＃61;BATCH_SIZE)
#用于测试的数据提供器
test_reader &＃61; paddle.batch(paddle.dataset.cifar.test10(), batch_size&＃61;BATCH_SIZE)


Step2.网络配置

&＃xff08;1&＃xff09;网络搭建

在CNN模型中&＃xff0c;卷积神经网络能够更好的利用图像的结构信息。下面定义了一个较简单的卷积神经网络。显示了其结构&＃xff1a;输入的二维图像&＃xff0c;先经过两次卷积层到池化层&＃xff0c;再经过全连接层&＃xff0c;最后使用softmax分类作为输出层。

池化是非线性下采样的一种形式&＃xff0c;主要作用是通过减少网络的参数来减小计算量&＃xff0c;并且能够在一定程度上控制过拟合。通常在卷积层的后面会加上一个池化层。paddlepaddle池化默认为最大池化。是用不重叠的矩形框将输入层分成不同的区域&＃xff0c;对于每个矩形框的数取最大值作为输出

def convolutional_neural_network(img):# 第一个卷积-池化层conv_pool_1 &＃61; fluid.nets.simple_img_conv_pool(input&＃61;img, # 输入图像filter_size&＃61;5, # 滤波器的大小num_filters&＃61;20, # filter 的数量。它与输出的通道相同pool_size&＃61;2, # 池化核大小2*2pool_stride&＃61;2, # 池化步长act&＃61;"relu") # 激活类型# 第二个卷积-池化层conv_pool_2 &＃61; fluid.nets.simple_img_conv_pool(input&＃61;conv_pool_1,filter_size&＃61;5,num_filters&＃61;50,pool_size&＃61;2,pool_stride&＃61;2,act&＃61;"relu")# 以softmax为激活函数的全连接输出层&＃xff0c;10类数据输出10个数字prediction &＃61; fluid.layers.fc(input&＃61;conv_pool_2, size&＃61;10, act&＃61;&＃39;softmax&＃39;)return prediction


&＃xff08;2&＃xff09;定义数据

#定义输入数据
data_shape &＃61; [3, 32, 32]
images &＃61; fluid.layers.data(name&＃61;&＃39;images&＃39;, shape&＃61;data_shape, dtype&＃61;&＃39;float32&＃39;)
label &＃61; fluid.layers.data(name&＃61;&＃39;label&＃39;, shape&＃61;[1], dtype&＃61;&＃39;int64&＃39;)


&＃xff08;3&＃xff09;获取分类器

# 获取分类器&＃xff0c;用cnn进行分类
predict &＃61; convolutional_neural_network(images


&＃xff08;4&＃xff09;定义损失函数和准确率

这次使用的是交叉熵损失函数&＃xff0c;该函数在分类任务上比较常用。

定义了一个损失函数之后&＃xff0c;还有对它求平均值&＃xff0c;因为定义的是一个Batch的损失值。

同时我们还可以定义一个准确率函数&＃xff0c;这个可以在我们训练的时候输出分类的准确率。

# 获取损失函数和准确率
cost &＃61; fluid.layers.cross_entropy(input&＃61;predict, label&＃61;label) # 交叉熵
avg_cost &＃61; fluid.layers.mean(cost) # 计算cost中所有元素的平均值
acc &＃61; fluid.layers.accuracy(input&＃61;predict, label&＃61;label) #使用输入和标签计算准确率


&＃xff08;5&＃xff09;定义优化方法

这次我们使用的是Adam优化方法&＃xff0c;同时指定学习率为0.001

# 定义优化方法
optimizer &＃61;fluid.optimizer.Adam(learning_rate&＃61;0.001)
optimizer.minimize(avg_cost)
print("完成")


在上述模型配置完毕后&＃xff0c;得到两个fluid.Program&＃xff1a;fluid.default_startup_program() 与fluid.default_main_program() 配置完毕了。

参数初始化操作会被写入fluid.default_startup_program()

fluid.default_main_program()用于获取默认或全局main program(主程序)。该主程序用于训练和测试模型。fluid.layers 中的所有layer函数可以向 default_main_program 中添加算子和变量。default_main_program 是fluid的许多编程接口&＃xff08;API&＃xff09;的Program参数的缺省值。例如,当用户program没有传入的时候&＃xff0c; Executor.run() 会默认执行 default_main_program 。

Step3.模型训练 and Step4.模型评估

&＃xff08;1&＃xff09;创建Executor

首先定义运算场所 fluid.CPUPlace()和 fluid.CUDAPlace(0)分别表示运算场所为CPU和GPU

Executor:接收传入的program&＃xff0c;通过run()方法运行program。

place &＃61; fluid.CPUPlace()
exe &＃61; fluid.Executor(place)
exe.run(fluid.default_startup_program())


(2)定义数据映射器

DataFeeder 负责将reader(读取器)返回的数据转成一种特殊的数据结构&＃xff0c;使它们可以输入到 Executor

feeder &＃61; fluid.DataFeeder( feed_list&＃61;[images, label],place&＃61;place)


&＃xff08;3&＃xff09;定义绘制训练过程的损失值和准确率变化趋势的方法draw_train_process

iter&＃61;0
iters&＃61;[]
train_costs&＃61;[]
train_accs&＃61;[]
def draw_train_process(iters, train_costs, train_accs):title&＃61;"training costs/training accs"plt.title(title, fontsize&＃61;24)plt.xlabel("iter", fontsize&＃61;14)plt.ylabel("cost/acc", fontsize&＃61;14)plt.plot(iters, train_costs, color&＃61;&＃39;red&＃39;, label&＃61;&＃39;training costs&＃39;)plt.plot(iters, train_accs, color&＃61;&＃39;green&＃39;, label&＃61;&＃39;training accs&＃39;)plt.legend()plt.grid()plt.show()


&＃xff08;3&＃xff09;训练并保存模型

Executor接收传入的program,并根据feed map(输入映射表)和fetch_list(结果获取表) 向program中添加feed operators(数据输入算子)和fetch operators&＃xff08;结果获取算子)。 feed map为该program提供输入数据。fetch_list提供program训练结束后用户预期的变量。

每一个Pass训练结束之后&＃xff0c;再使用验证集进行验证&＃xff0c;并打印出相应的损失值cost和准确率acc。

EPOCH_NUM &＃61; 3
model_save_dir &＃61; "/home/aistudio/data/catdog.inference.model"for pass_id in range(EPOCH_NUM):# 开始训练train_cost &＃61; 0for batch_id, data in enumerate(train_reader()): #遍历train_reader的迭代器&＃xff0c;并为数据加上索引batch_idtrain_cost,train_acc &＃61; exe.run(program&＃61;fluid.default_main_program(),#运行主程序feed&＃61;feeder.feed(data), #喂入一个batch的数据fetch_list&＃61;[avg_cost, acc]) #fetch均方误差和准确率if batch_id % 100 &＃61;&＃61; 0: #每100次batch打印一次训练、进行一次测试print(&＃39;Pass:%d, Batch:%d, Cost:%0.5f, Accuracy:%0.5f&＃39; % (pass_id, batch_id, train_cost[0], train_acc[0]))iter&＃61;iter&＃43;BATCH_SIZEiters.append(iter)train_costs.append(train_cost[0])train_accs.append(train_acc[0])# 开始测试test_costs &＃61; [] #测试的损失值test_accs &＃61; [] #测试的准确率for batch_id, data in enumerate(test_reader()):test_cost, test_acc &＃61; exe.run(program&＃61;fluid.default_main_program(), #运行测试程序feed&＃61;feeder.feed(data), #喂入一个batch的数据fetch_list&＃61;[avg_cost, acc]) #fetch均方误差、准确率test_costs.append(test_cost[0]) #记录每个batch的误差test_accs.append(test_acc[0]) #记录每个batch的准确率test_cost &＃61; (sum(test_costs) / len(test_costs)) #计算误差平均值&＃xff08;误差和/误差的个数&＃xff09;test_acc &＃61; (sum(test_accs) / len(test_accs)) #计算准确率平均值&＃xff08; 准确率的和/准确率的个数&＃xff09;print(&＃39;Test:%d, Cost:%0.5f, ACC:%0.5f&＃39; % (pass_id, test_cost, test_acc))#保存模型if not os.path.exists(model_save_dir):os.makedirs(model_save_dir)fluid.io.save_inference_model(model_save_dir,[&＃39;images&＃39;],[predict],exe)
print(&＃39;训练模型保存完成&＃xff01;&＃39;)
draw_train_process(iters, train_costs,train_accs)


Step5.模型预测

&＃xff08;1&＃xff09;创建预测用的Executor

infer_exe &＃61; fluid.Executor(place)
inference_scope &＃61; fluid.core.Scope()


(2)图片预处理

在预测之前&＃xff0c;要对图像进行预处理。

首先将图片大小调整为32*32&＃xff0c;接着将图像转换成一维向量&＃xff0c;最后再对一维向量进行归一化处理。

def load_image(file):#打开图片im &＃61; Image.open(file)im &＃61; im.convert(&＃39;RGB&＃39;)#将图片调整为跟训练数据一样的大小 32*32&＃xff0c; 设定ANTIALIAS&＃xff0c;即抗锯齿.resize是缩放im &＃61; im.resize((32, 32), Image.ANTIALIAS)#建立图片矩阵 类型为float32im &＃61; np.array(im).astype(np.float32)#矩阵转置 im &＃61; im.transpose((2, 0, 1)) #将像素值从【0-255】转换为【0-1】im &＃61; im / 255.0#print(im) im &＃61; np.expand_dims(im, axis&＃61;0)# 保持和之前输入image维度一致print(&＃39;im_shape的维度&＃xff1a;&＃39;,im.shape)return im


(3)开始预测

通过fluid.io.load_inference_model&＃xff0c;预测器会从params_dirname中读取已经训练好的模型&＃xff0c;来对从未遇见过的数据进行预测。

with fluid.scope_guard(inference_scope):#从指定目录中加载 推理model(inference model)[inference_program, # 预测用的programfeed_target_names, # 是一个str列表&＃xff0c;它包含需要在推理 Program 中提供数据的变量的名称。 fetch_targets] &＃61; fluid.io.load_inference_model(model_save_dir,#fetch_targets&＃xff1a;是一个 Variable 列表&＃xff0c;从中我们可以得到推断结果。infer_exe) #infer_exe: 运行 inference model的 executorinfer_path&＃61;&＃39;/home/aistudio/data/dog.png&＃39;img &＃61; Image.open(infer_path)plt.imshow(img) plt.show() img &＃61; load_image(infer_path)results &＃61; infer_exe.run(inference_program, #运行预测程序feed&＃61;{feed_target_names[0]: img}, #喂入要预测的imgfetch_list&＃61;fetch_targets) #得到推测结果print(&＃39;results&＃39;,results)label_list &＃61; ["airplane", "automobile", "bird", "cat", "deer", "dog", "frog", "horse","ship", "truck"]print("infer results: %s" % label_list[np.argmax(results[0])])